# -*- coding: utf-8 -*-
import scrapy
from movie.items import MovieItem

class MeijuSpider(scrapy.Spider):
    name = 'meiju' #爬虫名。一个项目下可能有多个爬虫，并且每个爬虫有优先级、并发等设置。 scrapy crawl [spider_name]
    allowed_domains = ['meijutt.com'] #为了防止项目自动爬取到其它网站，设置限制，每一次请求前都会检查请求的网址是否数据这个域名下，是的话才允许请求。 注意：爬取日志爬取网址总为None，检查allowend_domain 书写是否正常。值是一级域名。

    start_urls = ['http://meijutt.com/new100.html']  #第一个请求的url，所有请求的入口。

    def parse(self, response):
        #print(response.status_code,response.content,response.text)
        #非框架下写法 dom = lxml.HTML(response.text);dom.xpath('')
        #scrapy框架写正规写法 Selector(response.text).xpath('').extract()

        #获取据据集名
        movie_list = response.xpath('//ul[@class="top-list  fn-clear"]/li') #[<li>对象，<li>对象]
        #/h5/text()

        for movie in movie_list:
            #movie.xpath('./h5/text()').extract_first()  #xpath()返回[Selector().Selectort()]
            #xpath().extract()返回['ju据集名1','据集名2’
            #xpath().extract_first() 返回 '据集名'
            #表示在子标签基础上继续解析
            name = movie.xpath('./h5/text()').extract_first()

            item = MovieItem()
            item.name = name   #item['name'] = name
            yield item   #相当于同步脚本方法中的return


            print()
        pass




# //ul[@class="top-list  fn-clear"]/li/h5/text()
#终端 创建美剧文件域名
#scrapy genspider meiju meijutt.com
